Blog - LINE ENGINEERING

TAG ARCHIVES: Open Source

さらに強固になったLINEのオープンソース管理：OpenChain認証とその裏話を紹介します
LINE Open Source Program Office TF2023-09-26
はじめにこんにちは。Open Source Program Office TFです。Linuxを中心としたオープンソース関連技術のコンソーシアムであるLinux Foundationでは、オープンソース管理のための標準規格を策定するOpenChainプロジェクトも運営しています。私たちは約2年間、OpenChainプロジェクトで策定された国際標準規格をLINEの開発組織へ適用する大型プロジェクトを進めてきました。このたび、オープンソース管理の国際標準であるISO/IEC 5230認証を取得しました。今回の記事では、まずOpenChainプロジェクトについて紹介し、OpenChain規格をLINEに適用するためにどんな努力をしてきたのかをお話します。また、OpenChain規格を適用することにどのような意義があるのか、会社と開発者の観点で見てみようと思います。 LINEの経験を共有するこの記事が、開発者にはオープンソース管理の重要性を知るきっかけに、オープンソース管理業務をしている人には業務の参考資料になればと思います。 OpenChain project公式ホームペー
- Open Source
LINE Open Source Sprint 2023：業務時間に自分の好きなオープンソースプロジェクトに貢献する
Donghyeok Kim, Jina Kim, and Seoyeon Lee2023-04-21
Runs open source operations at LINE
はじめにこんにちは。LINEでオープンソースの管理業務を担当しているDonghyeok Kim、Jina Kim, Seoyeon Leeです。現在、Developer RelationsチームとOpen Source Program Office TFで、LINEの開発文化がオープンソース文化により近づけるように取り組んでいます。 2021年に以下の記事でLINE Open Source Sprintについて紹介しましたが、今回のLINE Open Source Sprint 2023はどのように行われたか、その過程と結果についてご紹介します。 LINE Open Source Sprint 2021：オープンソースに貢献する文化の創出どんなイベントなのか？ LINE Open Source Sprintは、LINEとオープンソースのエコシステムをつなげる特別なイベントです。約1か月間のイベント期間中、参加者は集中してオープンソースプロジェクトにソースコードの貢献を行い、それまで接点のなかった同僚と交流します。このイベントで、LINEのエンジニアは共に成長できる
- Open Source
高性能・高速・軽量な日本語言語モデル LINE DistilBERTを公開しました
Koga Kobayashi2023-03-13
NLPチーム
こんにちは。LINEの小林滉河(@kajyuuen)です。NLPチームで固有表現抽出、有害表現の検知、LINEスタンプ推薦の改善など自然言語処理に関する仕事をしています。この記事ではLINEが公開した言語モデル「LINE DistilBERT」について紹介します。 https://huggingface.co/line-corporation/line-distilbert-base-japanese https://github.com/line/LINE-DistilBERT-Japanese LINE DistilBERTは次のような特徴を持つ日本語言語モデルです。高性能・高速・軽量 Hugging Faceのtransformersから簡単に利用可能商用利用可能なApache License 2.0でのモデル配布このモデルは、大規模日本語Webコーパスを用いたモデル構築により、日本語自然言語理解のベンチマークであるJGLUEの全てのタスクにおいて、Laboro DistilBERTやBandaiNamco DistilBERTといった既存の日本語DistilBE
【協賛情報】Open Source Summit Japan 2022
LINE Open Source Program Office TF2022-12-02
2022年12月5日(月)・6日(火)に開催されるLinux Foundation主催の Open Source Summit Japan 2022にて、LINEはゴールドスポンサーを務めさせていただきます。 Open Source Summit Japanは、日本で開催されるオープンソース関連イベントとしては最大級の規模かつ最も権威のあるカンファレンスであり、今日のオープンソース・エコシステムを築き上げた開発者、エンジニアらが一堂に会する貴重な機会となっています。オープンソースのリーダーを中心にコラボレーションと情報共有、そして最新のオープンソース技術を学ぶため国内外から開発者らが集結します。今回のOpen Source Summitは、オープンソースに影響を与える最も重要な技術トピックや各種の問題をカバーするために下記のイベントの集合体として構成されています。この世界的にも貴重なイベントへの参加機会を是非活用してください。 LinuxCon OSPOCon Emerging OS Forum Automotive Linux Summit Critical Software
- Open Source
- 協賛情報
LINEがApache Software FoundationのSilver Sponsorになりました
LINE Open Source Program Office TF2022-03-29
こんにちは。Open Source Program Office TF (タスクフォース)です。私たちはLINEのエンジニア組織とオープンソースエコシステムを融合し、より密接な関係を築いてコミュニティと共に成長できる文化を作るために様々な取り組みを行っています。今回は、この3月にLINEがApache Software FoundationのSilver Sponsorに加わることになった背景について紹介します。 Apache Software Foundationについて Apache Software Foundation (ASF)は、オープンソースプロジェクト開発に必要な資源を支援するために1999年に米国で設立された非営利団体です。元々はApache HTTPサーバーを開発するために開始されましたが、現在では350個以上のオープンソースプロジェクトを支える団体へと発展しています。 ASFでは、オープンソース開発のための基本的な姿勢として「Apache Way」という哲学を掲げています。この哲学は、個人参加の原則によってベンダー中立
- Open Source
- LINE Sponsorship
LINE Open Source Sprint 2021: オープンソースに貢献する文化の創出
LINE Open Source Program Office TF2022-03-22
こんにちは。 Open Source Program Office TF (タスクフォース)です。LINEがオープンソースに大きく依存していることはよく知られる事実ですが、私たちのチームはLINEのエンジニアリング文化がオープンソース文化と密接に融合するように多くの努力を払っています。 LINEのような環境で働いている開発者であれば、一度ぐらいは次のようなことを考えたことがあるかと思います。「あ…自分も時間をかけて、いつかはオープンソースに貢献しないと…」この思いはすぐに次につながることでしょう。「けど、何をどこからやればいいのだろう。。。」多くの人がこのような悩みを抱えているという事実が分かったことで、私たちのチームはオープンソースへの貢献を行うための社内イベントの開催を企画しました。今回の記事では、2021年の年末に行われた「LINE Open Source Sprint 2021」についてご紹介します。どんなイベントなのか？ LINE Open Source Sprintは、エンジニアが短期間に集まって特定のオープンソースに貢献してみる
- Open Source
- LINE Events
FIDO at LINE: LINE FIDO2-Serverをオープンソースとして公開しました
kyungjoon-park2021-09-30
Security R&Dチームのセキュリティエンジニアです
こんにちは。Security R&DチームでFIDO（Fast Identity Online）の開発担当エンジニアとして働いている、Park Kyungjoonです。以前の記事「FIDO at LINE: A First Step to a World Without Passwords」に続き、今回の記事ではFIDO2について簡単に解説した後、今年の3月上旬に参加したFIDOアライアンス主催の相互運用性テストイベントについて報告します。それから、先日オープンソースとして公開したLINE FIDO2-Serverについて紹介したいと思います。 FIDO2について現在FIDOには、UAF（Universal Authentication Framework）とU2F（Universal 2nd Factor）、FIDO2という3つの規格が共存していますが、最近では新しい規格であるFIDO2が定着してきているようです。FIDO2が他の規格と異なる点は何でしょうか？　どのような理由で登場したのでしょうか？　3つの規格について簡単に解説します。&n
- Security Engineering
- Open Source
【インターンレポート】Spark streamingを用いたログ分析パイプラインの開発
Ryosuke Unno2021-09-27
2021年夏のインターンシップに参加した海野良介です。普段はゲーム環境での強化学習の利用についての研究を行なっています。今回のインターンシップでは、Data Platform室・Data Engineering3チームに所属しました。この記事では、インターン期間中に私が取り組んだ内容について紹介します。背景・課題現在Data Platform室では300PB以上のディスク容量、2000以上のデータノードからなる、大規模なHadoopクラスタを運用しています。これらのクラスタ上では、監査目的のためにHadoopクラスタ内での全てのアクティビティログ（Audit log）を記録しています。記録されたAudit Logに対しては1日単位でバッチ処理によるテーブル形式への変換が行われています。このテーブルはHadoopクラスタで問題が発生した際に原因分析などの手段として利用されます。しかし現状の1日ごとにバッチ処理を行う場合ですと、問題発生からAudit logを使った分析までの間に遅延が発生してしまいます。そこで、Audit logを低遅延なシステムで分析し、問題が発生した際の原因調査や
ダウンタイムなしでHadoopクラスタを移行した時の話
LINE Engineering2020-08-25
こんにちは、Data Platform室の小野です。Data Platform室では、昨年のLINE DEVELOPER DAYでも発表があったように、大規模なHadoopクラスタを運用しています。先日、分析基盤に特化したデータセンターのルームが構築され、ここへクラスタの移行作業を行いました。このクラスタは全社的に使われており、毎日10万個以上のジョブが走っています。そのため、クラスタを止めずに移行することが求められました。この記事では、そのときどのようにHadoopクラスタを移行したのか、そしてどのような問題が起こったのかについて、ご紹介します。今回は、以下の4つのコンポーネントに絞って、ご紹介します。 ResourceManager NameNode JournalNode Zookeeper 現在使用しているソースのバージョンについては、LINE独自でパッチをあてたり、いくつかバックポートを行なっていたりするため、オープンソースとして公開されているソースと完全に一致するものではないですが、Hadoopは3.1.2、Zookeeperは3.5.5がベースとなっていま
Let’s play Reactive Streams with Armeria vol.2
LINE Engineering2020-03-26
こんにちは。LINE PlusでオープンソースソフトウェアのArmeriaとCentral Dogmaを開発しているUM IKHUNです。前回の記事では、Reactive Streamsの概念を解説しました。今回の記事では、Reactive Streamsをオープンソース非同期のHTTP/2、RPC、RESTクライアント／サーバーライブラリーであるArmeriaで使用する方法について紹介したいと思います。 What’s Armeria? Armeriaは、Java 8およびNetty、Thrift、gRPCをベースにしたオープンソース非同期HTTP/2、RPC、RESTクライアント／サーバーライブラリーです。Armeriaは、軽量（Lightweight）のマイクロサービスフレームワークですが、サポートする機能は、他のフルスタック（full stack）ウェブフレームワークと比較しても劣りません。まず、ArmeriaでReactive Streamsを活用したサーバーを実現するために、基本的に知っておくべきことを説明します。サポートするプロトコル Armeriaでは、

1 2